Xilinx VCU低延时方案和使用PS DP Live video接口来实现PS和PL的视频数据交换达到节约PL逻辑资源的目的

您所在的位置：网站首页 › video 接口 › Xilinx VCU低延时方案和使用PS DP Live video接口来实现PS和PL的视频数据交换达到节约PL逻辑资源的目的

Xilinx VCU低延时方案和使用PS DP Live video接口来实现PS和PL的视频数据交换达到节约PL逻辑资源的目的

2023-03-30 21:04| 来源: 网络整理| 查看: 265

赛灵思推出首款真正的 AllProgrammable （全可编程）异构多处理 SoC —— Zynq UltraScale + MPSoC 。采用台积公司 (TSMC) 新一代 16nmFinFET 工艺节点的 Zynq UltraScale + MPSoC 包含一个可扩展的 32 位或 64 位多处理器 CPU 、用于实时处理图形和视频的专用硬化引擎、先进的高速外设，以及可编程逻辑，可用于汽车驾驶员辅助与安全、无线和有线通信、数据中心以及连接与控制等多种应用领域。部分 Zynq UltraScale + MPSoC 的可编程逻辑 (PL) 中包含最新的视频编码器 / 解码器。这种新型硬化编解码器能够访问来自 PL 或 PS 的视频和音频流，以提供和 / 或存取达到软件算法 50 倍的压缩视频信息，从而节省宝贵的系统存储空间。 Zynq UltraScale + MPSoC VCU 的主要特性 · 支持 H.264 和 H.265HEVC 视频标准 · 同步编码 / 解码 · 8Kx4K 视频， 15fps ，或者 4Kx2K 视频， 60fps · 8 位和 10 位色彩分量 · I 、 IP 、 IPB 帧编码 · 4:2:0 和 4:2:2 色度格式

Xilinx VCU低延时方案如下图所示，信号源从LiveVideo Source进入到MPSOC芯片，经过视频处理和Encode后通过网线传递给后端MPSOC，后端Decode后去到Video Sink显示；在整个End to End的视频链路上面 Latency最低可以做到小于35ms的性能。这个低延时特性可以用在KVM\内窥镜\无线图传等等领域。

Xilinx实现低延时有两种方案，如图所示：第一种是在PS上面跑Gstreamer的软件架构加上PL的SyncIP，两个配合起来实现低延时设计；第二种方案是去掉PL的SyncIP，在PS里面跑VCU-CTRL-SW软件架构，在PS软件里面实现VCU的低延时设计。

在介绍完Xilinx VCU低延时方案后我们来聊聊如何实现使用PS DP现有的Live Video In\Out接口来代替DMA来进行PS和PL之间的视频数据互传。从UG1250的VCU TRD可以看到整个设计框架，视频接入和输出要想跟PS进行交换数据时候都会用到DMA等等模块，对于ZU4EV器件来说PL资源是有限并且宝贵的；所以为了把宝贵的逻辑资源用于客户自己的算法，我们整个设计里面可以使用Livevideo in接口把PL的视频信号接入到PS，也可以使用LiveVideo Out接口把PS的视频数据传输到PL去做显示。利用这种巧妙的设计来满足性能和资源要求。从UG1085第13章DisplayportController章节里面可以看到LiveVideo IN\OUT的架构。视频渲染管道执行图像混合、色度上采样和像素缩放。它有两个输入 ( 混合前 ) 和一个输出 ( 混合后 ) 。这两个输入路径并不相同。一个输入用于视频，另一个用于图形。图形路径有一个调色板，没有色度上采样模块 ( 转换 4:2:2 到 4:4:4) ，所以图形必须是 4:4:4 格式。视频路径具有 4:2:0 到 4:2:2 转换器、测试图形生成器和色度上采样模块块。